Trong Chiến tranh Vệ quốc vĩ đại, Petrov đã tham chiến trong các trận Odessa, Sevastopol và giữ các cương vị chỉ huy của Tập đoàn quân độc lập Duyên hải từ tháng 10 năm 1941 đến tháng 7 năm 1942 và vào tháng 11 năm 1943 đến tháng 2 năm 1944, Tập đoàn quân 44 vào tháng 8 năm 1942, Cụm tác chiến Biển Đen, Phương diện quân Bắc Kavkaz, Tập đoàn quân 33 năm 1944, Phương diện quân Belorussia 2, Phương diện quân Ukraina 4 và một số đơn vị khác. Từ tháng 4 đến tháng 6 năm 1945, Petrov là Tham mưu trưởng Phương diện quân Ukraina 1.